De Sint-Alenatoren op het eiland voor het kasteel-gemeentehuis is een pittoresk overblijfsel van een waterburcht uit de 13de eeuw. De legende vertelt dat Sint-Alena, dochter van de Frankische vorst Levold, hier einde 7de eeuw woont.
Eén van de eerste bewoners van het oude waterslot is de familie de Heetvelde. In 1695 wordt het kasteel na een brand heropgebouwd door de familie Malo.
In 1804 koopt baron Jean-Bernard de Viron het kasteel. Zijn zoon, Guillaume de Viron de Diéval, geeft in 1851 aan de beroemde architect, Jean-Pierre Cluysenaar, de opdracht de stallen en het koetshuis te bouwen. En in 1862 vraagt Guillaumes zoon, Théodore de Viron de Diéval, hem een nieuw kasteel op de heuvel te bouwen. De oude burcht laat hij slopen, met uitzondering van de Sint-Alenatoren.
Het nieuwe kasteel, met overheersende verticale lijnen, valt op door zijn speelse, sprookjesachtige voorkomen. Rode baksteen, blauwe hardsteen en witte zandsteen accentueren het schilderachtige karakter. De vier uitspringende hoektorens met opvallende peervormige bekroningen, geven het gebouw een indrukwekkend karakter. Volgens de overlevering heeft de architect de volledige jaarkalender in het kasteel geïntegreerd. In 1921 wordt het kasteel eigendom, en gemeentehuis van Dilbeek.